Bonjour à toutes et à tous, ici Petya, responsable senior des partenariats techniques et de l'engagement. C'est avec plaisir que je vous présente cette troisième édition des « Parcours de contributeurs open source de HOT ». Alors que dans les deux éditions précédentes — ici et ici — nous mettions en avant des parcours individuels, cette fois je souhaitais vous présenter notre collaboration avec une petite organisation étudiante de l'Université de Californie à Berkeley.

Code for Good Berkeley m'a contactée par courriel en début d'année pour proposer une collaboration, et j'ai été très impressionnée par le professionnalisme et la passion de l'équipe. Nous avons ensuite collaboré avec eux pendant trois mois sur deux projets distincts : OAM Uploader et Imagerie au niveau de la rue.

Voici l'histoire de l'équipe, composée des chefs de projet Aniket Gupta et Shayla He, ainsi que des membres Riya Khasnis, Aryan Das, Michelle Bao, Bryan Huang, Aadhi Balasubramanian et Takenosuke Nagata, qui ont travaillé sur le projet d'imagerie au niveau de la rue assistée par IA, sous la supervision de Sam Woodcock, responsable technique senior chez HOT. Plutôt que de vous en dire davantage, laissons-les vous en parler directement !

Qu'est-ce que le programme Code for Good ?

Code for Good Berkeley est une organisation étudiante de l'Université de Californie à Berkeley qui s'associe avec des organisations à but non lucratif et des entreprises à vocation sociale à travers le monde. Chaque semestre, des équipes interdisciplinaires d'étudiants et étudiantes travaillent en étroite collaboration avec un partenaire pour développer des solutions techniques répondant à des défis concrets. Notre objectif n'est pas seulement de construire une technologie ayant un impact, mais aussi d'offrir à nos membres une expérience pratique appliquant le génie logiciel, l'IA et la réflexion produit à des enjeux d'impact social significatifs.

Pouvez-vous nous dire pourquoi vous avez choisi HOT pour votre projet ? Qu'est-ce qui vous a intéressés ?

Nous avons choisi l'Équipe humanitaire OpenStreetMap (HOT) pour sa mission consistant à rendre les données géospatiales plus accessibles pour la réponse humanitaire et le développement communautaire. La possibilité de contribuer à un projet open source ayant un impact concret était très stimulante.

L'imagerie au niveau de la rue est une source d'information riche mais encore sous-exploitée, et nous y avons vu l'occasion d'utiliser les avancées récentes de l'IA pour extraire des informations utiles plus efficacement et réduire la revue manuelle des images, tout en gardant l'humain impliqué dans le processus de décision.

En quoi l'analyse d'imagerie au niveau de la rue peut-elle être utile ?

L'imagerie au niveau de la rue offre des détails souvent difficiles, voire impossibles, à distinguer à partir de la seule imagerie satellite. Elle peut fournir des informations sur l'état des routes, l'accessibilité, les caractéristiques des bâtiments, la signalisation, les infrastructures et d'autres éléments du terrain très précieux pour la cartographie et les efforts de réponse humanitaire aux catastrophes.

Ce que nous avons accompli grâce aux grands modèles de langage

L'équipe des modèles vision-langage (VLM), dirigée par Shayla He, a conçu et évalué un pipeline d'IA de bout en bout permettant de générer automatiquement des étiquettes de revêtement routier OpenStreetMap (OSM) à partir d'imagerie au niveau de la rue.

Plutôt que de s'appuyer uniquement sur la détection d'objets traditionnelle, l'équipe a comparé plusieurs modèles de fondation multimodaux, dont Qwen2.5-VL 7B, LLaVA 7B et GPT-4o-mini, selon des critères de précision, de latence, de taux d'hallucination, de coût, d'exigences matérielles et de confidentialité des données. L'évaluation a porté sur plus de 100 images issues de plus de 35 pays sur 5 continents, incluant des scènes des pays du Sud, des prises de nuit et des conditions routières ambiguës.

Qwen2.5-VL 7B a été retenu comme recommandation principale, car il peut fonctionner localement tout en offrant les meilleures performances globales.

Au-delà du choix du modèle, l'équipe a conçu un pipeline d'inférence structuré afin que les résultats du VLM soient suffisamment fiables pour la cartographie humanitaire :

1. Filtre de qualité en amont de l'inférence : des filtres de luminosité et de flou laplacien ont écarté environ 11 % des images de faible qualité avant l'inférence, réduisant les coûts inutiles de GPU/API.
2. Analyse structurée des résultats : le VLM a généré des classifications standardisées de revêtement routier, transformées en un schéma JSON structuré avec validation de repli.
3. Aiguillage selon le niveau de confiance :
   • Supérieur à 0,75 : approuvé automatiquement pour OSM
   • 0,50–0,75 : transmis pour une revue humaine
   • Inférieur à 0,50 : écarté

1. Garde-fou contre les hallucinations : le modèle vérifiait d'abord qu'une route était bien présente avant de classifier l'image, évitant ainsi les étiquettes erronées sur des images ne représentant pas de route (paysages naturels, intérieurs de bâtiments, images satellites).

Cette architecture avec supervision humaine dans la boucle (human-in-the-loop) a réduit les annotations erronées tout en conservant l'automatisation pour les cas à haute confiance. En combinant filtrage de qualité, résultats structurés, calibration de la confiance et revue humaine, l'équipe a livré un flux de travail évolutif qui convertit des images Panoramax non structurées en étiquettes OSM standardisées, adaptées à la cartographie humanitaire à grande échelle.

Ce que nous avons accompli grâce à la vision par ordinateur

L'équipe de vision par ordinateur, dirigée par Aniket Gupta, s'est concentrée sur une approche plus traditionnelle de détection d'objets pour l'imagerie au niveau de la rue : identifier les poteaux et pylônes électriques afin d'appuyer la cartographie des infrastructures énergétiques. Comme ces éléments sont souvent visibles depuis la rue mais pas toujours faciles à extraire de la seule imagerie satellite, l'équipe a voulu voir jusqu'où un pipeline de vision par ordinateur léger pouvait aller pour transformer des images brutes de Panoramax en signaux utiles pour la cartographie.

Une grande partie du travail a consisté à construire le jeu de données à partir de zéro. L'équipe a annoté manuellement un jeu de 5 000 images issues de Panoramax, comprenant 1 777 images de poteaux, 1 075 images de pylônes et 2 148 exemples négatifs sans poteau ni pylône. Des boîtes englobantes ont été tracées autour des poteaux et pylônes à l'aide de Roboflow afin de générer des fichiers d'annotation au format YOLO, et des images supplémentaires ont été récupérées via l'API Mapillary pour diversifier le jeu de données.

Une fois le jeu de données prêt, l'équipe a affiné des modèles YOLOv8 pour détecter poteaux et pylônes dans les images au niveau de la rue. La première configuration d'entraînement utilisait un GPU T4 sur Google Colab, une répartition 70/20/10 entre entraînement, test et validation, une taille de lot de 16 et des images en entrée de 512×512. Le modèle était assez rapide pour traiter de grands lots d'images, et les premiers résultats ont montré que la détection des pylônes fonctionnait particulièrement bien, tandis que celle des poteaux s'est révélée plus difficile, ces derniers étant généralement plus fins, plus petits et plus facilement confondus avec des arbres, des câbles, des panneaux ou d'autres éléments d'arrière-plan.

Le modèle le plus performant, YOLOv8s, a été entraîné sur 50 époques avec des augmentations de rotation et de redimensionnement, atteignant un mAP50 global d'environ 0,678. Sur l'ensemble de test, le modèle a atteint un mAP50 global de 0,721, la détection des pylônes affichant les meilleurs résultats avec 0,87 mAP50, contre 0,572 mAP50 pour les poteaux. La matrice de confusion reflétait le même schéma : les pylônes étaient détectés de manière plus fiable, tandis que de nombreux poteaux restaient manqués ou confondus avec l'arrière-plan.

Bien que le modèle ne soit pas parfait, il a donné une idée claire de ce que la vision par ordinateur peut déjà bien faire pour la cartographie humanitaire, ainsi que des domaines nécessitant encore du travail. Le principal enseignement est que la détection d'objets peut aider à réduire la revue manuelle en signalant rapidement les éléments d'infrastructure probables, mais qu'elle nécessite toujours une conception rigoureuse du jeu de données, une revue humaine et des améliorations ciblées pour les cas difficiles, comme les poteaux partiellement masqués, les scènes de rue encombrées, les ombres, les arbres et les structures de services publics. Dans le cadre de la transmission du projet, les poids du modèle et le jeu de données compilé par l'équipe ont vocation à être publiés en open source et rendus disponibles publiquement, afin que HOT et l'ensemble de la communauté de cartographie puissent les réutiliser, les évaluer et poursuivre ce travail au-delà de ce semestre.

Qu'avez-vous le plus apprécié dans votre collaboration avec HOT ?

L'un des aspects les plus gratifiants a été de travailler avec une organisation portant une mission open source et humanitaire aussi forte. L'équipe de HOT nous a laissé une grande liberté pour explorer différentes approches techniques, tout en nous aidant à comprendre les besoins concrets de la communauté de cartographie. Recevoir des retours tout au long du projet et voir comment notre travail technique se reliait directement à des utilisateurs réels et à des applications concrètes a été extrêmement précieux.

Quelle est la suite pour vous ? Quel conseil donneriez-vous à d'autres étudiants et étudiantes ?

Nous prévoyons tous de continuer à explorer l'IA, l'apprentissage automatique et le génie logiciel, en particulier dans les domaines où la technologie peut créer un impact social.

Ce projet nous a montré comment la recherche et la collaboration open source peuvent se traduire en outils concrets bénéficiant à des communautés partout dans le monde. Notre conseil aux autres étudiants et étudiantes : ne vous laissez pas intimider par les projets open source.

Vous n'avez pas besoin de tout savoir avant de contribuer. Trouvez une mission qui vous tient à cœur, restez curieux, posez des questions et soyez prêts à apprendre auprès de la communauté. Nous avons constaté que les projets open source offrent une excellente occasion de développer des compétences techniques tout en créant quelque chose ayant un impact durable, au-delà de la salle de classe.

Prêts à vous lancer ?

J'espère que cette 3ᵉ édition des Parcours de contributeurs open source de HOT vous a plu. Peut-être a-t-elle inspiré votre association étudiante à contribuer à l'open source ?